Deep neural networks (DNNs) are vulnerable to a class of attacks called "backdoor attacks", which create an association between a backdoor trigger and a target label the attacker is interested in exploiting. A backdoored DNN performs well on clean test images, yet persistently predicts an attacker-defined label for any sample in the presence of the backdoor trigger. Although backdoor attacks have been extensively studied in the image domain, there are very few works that explore such attacks in the video domain, and they tend to conclude that image backdoor attacks are less effective in the video domain. In this work, we revisit the traditional backdoor threat model and incorporate additional video-related aspects to that model. We show that poisoned-label image backdoor attacks could be extended temporally in two ways, statically and dynamically, leading to highly effective attacks in the video domain. In addition, we explore natural video backdoors to highlight the seriousness of this vulnerability in the video domain. And, for the first time, we study multi-modal (audiovisual) backdoor attacks against video action recognition models, where we show that attacking a single modality is enough for achieving a high attack success rate.
translated by 谷歌翻译
PointNet ++是Point Cloud理解的最具影响力的神经体系结构之一。尽管PointNet ++的准确性在很大程度上已经超过了诸如PointMLP和Point Transformer之类的最近网络,但我们发现,大部分性能增益是由于改进的培训策略,即数据增强和优化技术,而不是架构大小,而不是架构的大小,而不是架构。创新。因此,PointNet ++的全部潜力尚未探索。在这项工作中,我们通过对模型培训和缩放策略进行系统的研究来重新审视经典的PointNet ++,并提供两个主要贡献。首先,我们提出了一组改进的培训策略,可显着提高PointNet ++的性能。例如,我们表明,如果没有任何架构的任何变化,则可以将ScanObjectnn对象分类的PointNet ++的总体准确性(OA)从77.9 \%\%提高到86.1 \%,即使超过了最先进的端点”。其次,我们将倒置的残留瓶颈设计和可分离的MLP引入到PointNet ++中,以实现高效且有效的模型缩放,并提出了PointNext,即PointNets的下一个版本。可以在3D分类和分割任务上灵活地扩展PointNext,并优于最先进的方法。对于分类,PointNext的总体准确度为ScanObjectnn $ 87.7 \%$,超过了PointMLP $ 2.3 \%$,而推断的$ 10 \ times $ $。对于语义细分,PointNext建立了新的最先进的性能,$ 74.9 \%$ MEAN IOU在S3DIS上(6倍交叉验证),优于最近的Point Transformer。代码和型号可在https://github.com/guochengqian/pointNext上获得。
translated by 谷歌翻译
深度神经网络(DNN)无处不在的并且跨越各种应用范围从图像分类和面部识别到医学图像分析和实时对象检测。由于DNN模型变得更加复杂和复杂,培训这些模型的计算成本成为负担。出于这个原因,外包培训过程一直是许多DNN用户的转移选项。不幸的是,这是易受止回攻击的脆弱性的成本。这些攻击旨在在DNN中建立隐藏的后门,使得它在清洁样本上表现良好,但在将触发器应用于输入时输出特定的目标标签。当前的后门攻击在空间域中产生触发器;但是,正如我们在本文所展示的那样,它不是漏洞利用的域名,也应该始终“检查其他门”。据我们所知,这项工作是第一个提出用于在频域中生成空间动态(更改)和不可见的(低规范)后门攻击的管道的管道。我们展示利用频域来创造无法在各种数据集和网络架构上进行广泛实验创建未检测和强大的后门攻击的优势。与大多数空间域攻击不同,基于频率的后门攻击可以实现高攻击成功率,低中毒率,并且在表现不可察觉的情况下,仍然没有下降,而难以忍受。此外,我们表明,回顾式模型(我们的攻击中毒)对各种最先进的(SOTA)防御有抵抗力,因此我们有助于两种可能成功逃避攻击的防御。
translated by 谷歌翻译
讽刺可以被定义为说或写讽刺与一个人真正想表达的相反,通常是为了侮辱,刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂,因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年,但最近已经取得了一些重大进步,包括在多模式环境中采用了无监督的预训练的预训练的变压器,并整合了环境以识别讽刺。在这项研究中,我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集,方法,趋势,问题,挑战和任务,这些数据集,趋势,问题,挑战和任务是无法检测到的。我们的研究提供了讽刺数据集,讽刺特征及其提取方法以及各种方法的性能分析,这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。
translated by 谷歌翻译
利用相对高的像素 - 明智的度量分数,正在实现使用相对卷积神经网络的编码器解码器中存在的卫星图像中存在的建筑物的语义分割。在本文中,我们的目标是利用实例分段任务的完全卷积神经网络的力量,并使用额外添加的类与流域处理技术一起利用更好的对象度量结果来利用。我们还显示Cutmix混合数据增强和单周期学习率政策是更大的正则化方法,以实现更好的培训数据和提高性能。此外,混合精度训练提供了更灵活的来试验更大的网络和批次,同时保持训练期间的稳定性和收敛性。我们比较并显示在我们整个管道中的这些额外变化的效果,最终提供了一个已被证明更好地执行的调谐超参数。
translated by 谷歌翻译
这项工作解决了通过分段线性非线性激活来表征和理解神经网络的决策界限的问题。我们使用热带几何形状,这是代数几何区域中的新开发项目,以表征形式的简单网络(Aggine,Relu,offine)的决策边界。我们的主要发现是,决策边界是热带超曲面的子集,该子集与两个分区的凸壳形成的多层密切相关。这些分区的生成器是网络参数的函数。这种几何表征为三个任务提供了新的观点。 (i)我们对彩票假说提出了一个新的热带观点,在其中我们查看了不同初始化对网络决策边界热带几何表示的影响。 (ii)此外,我们提出了新的基于热带的优化重新纠正,该重新策划直接影响网络修剪任务的网络决策边界。 (iii)最后,我们在热带意义上讨论了对抗攻击的产生的重新印象。我们证明,可以通过扰动网络中的一组参数来扰动一组特定的决策边界,在新的热带环境中构建对手。
translated by 谷歌翻译
Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.
translated by 谷歌翻译
由于计算机视觉的最新进展,流量视频数据已成为限制交通拥堵状况的关键因素。这项工作为使用颜色编码方案提供了一种独特的技术,用于在深度卷积神经网络中训练流量数据之前。首先,将视频数据转换为图像数据集。然后,使用您只看一次算法进行车辆检测。已经采用了颜色编码的方案将图像数据集转换为二进制图像数据集。这些二进制图像被馈送到深度卷积神经网络中。使用UCSD数据集,我们获得了98.2%的分类精度。
translated by 谷歌翻译
使用图神经网络(GNN)的节点分类已在各种现实世界中广泛应用。但是,近年来,有令人信服的证据表明,基于GNN的淋巴结分类的性能可能会因拓扑扰动(例如随机连接或对抗性攻击)而大大恶化。已经提出了各种解决方案,例如拓扑降解方法和机理设计方法,以开发出强大的GNN基于GNN的节点分类器,但是这些作品都无法完全解决与拓扑扰动有关的问题。最近,提出了贝叶斯标签过渡模型来解决此问题,但其缓慢的收敛性可能导致劣等性能。在这项工作中,我们提出了一种新的标签推理模型,即林德(Lindt),该模型同时整合了贝叶斯标签过渡和基于拓扑的标签传播,以改善GNN对拓扑扰动的鲁棒性。 Lindt优于现有标签过渡方法,因为它通过利用基于邻里的标签传播来改善不确定节点的标签预测,从而可以更好地收敛标签推理。此外,Lindt采用不对称的Dirichlet分布作为先验,这也有助于改善标签推理。在五个图数据集上进行的广泛实验证明了Lindt在拓扑扰动的三种情况下对基于GNN的节点分类的优越性。
translated by 谷歌翻译
知识图,例如Wikidata,包括结构和文本知识,以表示知识。对于图形嵌入和语言模型的两种方式中的每种方法都可以学习预测新型结构知识的模式。很少有方法与模式结合学习和推断,而这些现有的方法只能部分利用结构和文本知识的相互作用。在我们的方法中,我们以单个方式的现有强烈表示为基础,并使用超复杂代数来表示(i),(i),单模式嵌入以及(ii),不同方式之间的相互作用及其互补的知识表示手段。更具体地说,我们建议4D超复合数的二脑和四个元素表示,以整合四个模态,即结构知识图形嵌入,单词级表示(例如\ word2vec,fastText,fastText),句子级表示(句子transformer)和文档级表示(句子级别)(句子级别)(句子级表示)(句子变压器,doc2vec)。我们的统一矢量表示通过汉密尔顿和二脑产物进行标记的边缘的合理性,从而对不同模态之间的成对相互作用进行建模。对标准基准数据集的广泛实验评估显示了我们两个新模型的优越性,除了稀疏的结构知识外,还可以提高链接预测任务中的性能。
translated by 谷歌翻译